花费 20 ms
spark shuffle写操作三部曲之SortShuffleWriter

提出问题 1. spark shuffle的预聚合操作是如何做的,其中底层的数据结构是什么?在数据写入到内存中有预聚合,在读溢出文件合并到最终的文件时是否也有预聚合操作? 2. shuffle数据 ...

Wed Aug 07 07:44:00 CST 2019 3 706

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM